#LLM 인프라

메시 LLM: Iroh 기반 분산 AI 컴퓨팅

메시 LLM(Mesh LLM)은 기존에 보유한 여러 대의 컴퓨터 GPU와 메모리를 묶어 하나의 거대한 GPU처럼 작동하게 만드는 분산 AI 인프라 기술입니다. 이를 통해 고비용의 클라우드 API에 의존하지 않고도, 사내에 방치된 GPU를 활용해 대규모 언어 모델(LLM)을 자체 운영하고 통제권을 확보할 수 있어 실무자들에게 매우 유용한 대안입니다.

에이전트 제어부는 샌드박스 밖에 두어야 한다

AI 에이전트를 구동하는 핵심 루프인 '하니스(harness)'를 샌드박스 내부가 아닌 외부(백엔드)에 배치해야 보안성과 안정성을 확보할 수 있다는 주장입니다. 특히 다수의 사용자가 동시에 에이전트를 사용하는 환경에서는 자격 증명(Credential) 유출 방지, 리소스 효율화, 장애 복구 등의 이점이 있어 외부 배치가 필수적입니다. 이 글은 실제 프로덕션 환경에서 하니스를 외부에 두기 위해 해결해야 했던 기술적 과제와 그 이유를 설명합니다.